AI Papers Daily

#LLM adaptation

2 篇

Data-Efficient Adaptation of LLMs via Attention Head Reweighting

通过注意力头重加权实现数据高效的LLM适配

🧭 注意力头重加权小样本适配

UC San Diego · Microsoft Research · Microsoft Security AI

提出注意力头重加权(AHR)，每个头学一个标量权重，参数减少200-1000倍，小样本分类超越LoRA

📌 工作参考价值（4 点）

• 小样本意图分类冷启动：AHR用极少量样本（如10-shot）即可适应新类别，适合电商搜索中的新型query意图识别、商品类目打标或安全审核任务，无需大量标注。
• 极低资源部署：可训练参数仅为头数×层数（Llama-3-8B约1000个），内存和计算开销远低于LoRA，适合在端侧或频繁更新场景下快速切换任务。
• 可解释性辅助特征工程：学习到的头权重直接指示哪些注意力头对任务关键，可逆向分析模型已有的语义模式，为特征设计、模型裁剪提供依据，如发现某些头专门处理价格数字、品牌词等。
• 抗过拟合的推荐文案过滤：在安全风控、垃圾评论检测等训练数据极不平衡的场景，AHR通过强行约束参数空间有效抑制过拟合，提高召回率。

LLM | 2026-07-15 | cs.CL | score 7/10

Data-efficient learningAttention Head ReweightingPEFTFew-shot classificationLLM adaptation

Efficient Test-Time Finetuning of LLMs via Convex Reconstruction and Gradient Caching

通过凸重构和梯度缓存实现大模型高效测试时微调

🧭 测试时微调 · 凸近似样本选择 ★ 深度解读

University of Haifa

将查询感知的样本选择建模为稀疏凸近似，通过几何整数化和梯度重用，在测试时微调中取得显著更优的质量-效率帕累托前沿。

📌 工作参考价值（4 点）

• 查询感知的样本选择：电商/Agent 场景中可借鉴 Frank-Wolfe 在 embedding 空间对 query 做稀疏凸组合来选取训练样本，无需显式多样性惩罚项即可自动抑制冗余，比 kNN 或启发式信息增益选择更快且保持多样性，适用于在线低延迟样本挑选。
• 几何整数化与梯度重用：将连续权重转为整数计数的整数化过程，产生天然的重读样本块，从而允许缓存梯度并跨多次相同样本的更新步复用，减少 1.48× 的微调计算开销——适用于推荐系统中用户行为序列出现重复 item 或 prompt 的在线微调场景。
• 两阶段加速获得更大有效 batch：选择阶段比 SIFT 快 12× 以上（0.059s vs 0.524s），结合梯度重用，可在相同墙钟时间内使用更大 N，在强实时性约束下提升模型适应质量，这一思路可直接用于 Agent 每次查询时快速收集相关记忆并高效微调。
• 低维投影加速：当嵌入维度高时，可用 PCA 对候选池降维后再进行 Frank-Wolfe，保持选择质量的同时进一步压缩选择延迟，适用于大底座模型编码的高维表示。

Training | 2026-05-28 | cs.LG | score 8/10

test-time finetuningconvex approximationFrank-Wolfegradient cachingdata selectionLLM adaptation